비록 밀도 높은 검색 밀도 높은 검색은 의미적 의도를 포착함으로써 검색을 혁신했지만, 실제 운영 환경에서는 치명적인 진실을 드러냅니다. 벡터 임베딩은 종종 제품 ID, 드문 약어, 전문 용어와 같은 중요한 세부 정보를 '매끄럽게' 처리하여 무시하게 됩니다. 현실 세계는 순수한 의미론만으로 구성된 것이 아니라, 추상적인 의미와 엄격한 식별자들의 혼합물입니다.

실제 운영 환경의 진실

• 어휘적 검색의 장점: 어휘적 검색(예: BM25)은 정확한 단어 및 구문 일치에 있어 여전히 표준입니다. 사용자의 의도를 추측하려 하지 않고, '당신이 말한 것 그대로'를 찾습니다.
• 의미적 격차: 밀도 높은 검색은 의미 매칭에 매우 강력합니다(예: '결제 문제'가 '거래 실패'와 매칭됨), 하지만 고정밀도의 희소 신호 SKU 번호나 부품 코드와 같은 신호에는 본질적으로 약점을 보입니다.
• 하이브리드 검색의 필요성: 하이브리드 검색은 세상이 순수한 의미론적이지도, 순수한 어휘적 것도 아니기 때문에 존재합니다. 사용자 행동은 두 가지로 나뉘며, 때로는 개념을 검색하고, 때로는 특정한 '바늘 찾기' 토큰을 찾습니다.